#include "log.hpp"
#include "util.hpp"

namespace ns_index
{
    // 正排索引的文档信息
    struct DocInfo
    {
        std::string title;   // 文档标题
        std::string content; // 文档内容
        std::string url;     // 官网文档URL
        uint64_t doc_id;     // 文档ID
    };

    struct InvertedElem
    {
        uint64_t doc_id;      // 文档ID
        std::string key_word; // 关键词
        int weight;           // 权重
    };

    // 倒排拉链
    typedef std::vector<InvertedElem> InvertedList;

    class Index
    {
    private:
        // 正排索引的数据结构用数组，数组的下标就可以作为文档的ID
        std::vector<DocInfo> forward_index;
        // 倒排索引是一个关键字和一组InvertedElem对应[关键字和倒排拉链的映射关系]
        std::unordered_map<std::string, InvertedList> inverted_index;

    private:
        Index() {} // 这里不能delete，一定要有函数体
        Index(const Index &) = delete;
        Index &operator=(const Index &) = delete;

        static std::mutex mtx;
        static Index *instance;

    public:
        ~Index() {}

        static Index *GetInstance()
        {
            if (instance == nullptr)
            {
                mtx.lock();
                if (instance == nullptr)
                    instance = new Index();
                mtx.unlock();
            }
            return instance;
        }

        // 获取指定文档ID的正排索引项
        DocInfo *GetForwardIndex(uint64_t doc_id)
        {
            if (doc_id >= forward_index.size())
            {
                logMessage(FATAL, "doc_id = %d , is out range!");
                return nullptr;
            }
            return &forward_index[doc_id];
        }

        // 根据传入的关键词，获取它的倒排拉链
        InvertedList *GetInvertedList(const std::string &key_word)
        {
            auto iter = inverted_index.find(key_word);
            if (iter == inverted_index.end())
            {
                logMessage(FATAL, "%s no InvertedList!");
                return nullptr;
            }
            return &(iter->second);
        }

        // 根据去标签，格式化之后的文档，构架正排索引和倒排索引
        // data/raw_html/raw.txt
        bool BuildIndex(const std::string &input) // 将parser处理完成之后的数据传入
        {
            std::ifstream in(input, std::ios::in | std::ios::binary);
            if (!in.is_open())
            {
                logMessage(FATAL, "BuildIndex open file failed!");
                return false;
            }

            std::string line;
            int count = 0;
            while (std::getline(in, line))
            {
                DocInfo *doc = BuildForwardIndex(line);
                if (doc == nullptr)
                {
                    logMessage(WARNINGS, "BuildForwardIndex error!");
                    continue;
                }

                BuildInvertedIndex(*doc);

                // for dubug
                count++;
                if (count % 50 == 0)
                {
                    std::cout << "当前已经建立的索引文档：" + std::to_string(count) << std::endl;
                }
            }
            return true;
        }

    private:
        DocInfo *BuildForwardIndex(const std::string &line)
        {
            // 获取文本行的标题，内容和url信息
            std::vector<std::string> results;
            const std::string sep = "\3";
            ns_util::StringUtil::Split(line, &results, sep);
            if (results.size() != 3)
                return nullptr;

            // 获取的字符串填充到 DocInfo
            DocInfo doc;
            doc.title = results[0];
            doc.content = results[1];
            doc.url = results[2];

            // 先保存id，再进行插入，对应的id就是当前doc在vector中的下标
            doc.doc_id = forward_index.size();
            // 将doc插入到正排索引的vector中去
            forward_index.push_back(std::move(doc));
            return &forward_index.back();
        }

        bool BuildInvertedIndex(const DocInfo &doc)
        {
            // DocInfo {title,content,url,doc_id}
            // word -> 倒排拉链
            struct wordCnt
            {
                int title_cnt;
                int content_cnt;

                wordCnt() : title_cnt(0), content_cnt(0) {}
            };

            // 用来暂存词频的映射表，key为单词，value为单词在标题和内容中出现的词频统计
            std::unordered_map<std::string, wordCnt> word_map;

            // 对标题进行分词以及词频统计
            std::vector<std::string> title_words;
            ns_util::JiebaUtil::CutString(doc.title, &title_words);
            for (std::string s : title_words)
            {
                boost::to_lower(s);
                word_map[std::string(s)].title_cnt++;
            }

            // 对内容进行分词以及词频统计
            std::vector<std::string> content_words;
            ns_util::JiebaUtil::CutString(doc.content, &content_words);
            for (std::string s : content_words)
            {
                boost::to_lower(s);
                word_map[std::string(s)].content_cnt++;
            }

            // #define X 10
            // #define Y 1

            double totalDocs = forward_index.size();         // 总文档数
            std::unordered_map<std::string, double> idf_map; // 存储每个关键词的IDF值

            for (auto &word_pair : word_map)
            {
                InvertedElem item;
                item.doc_id = doc.doc_id;
                item.key_word = word_pair.first;
                // item.weight=X*word_pair.second.title_cnt+Y*word_pair.second.content_cnt;

                // 计算 TF (词频)
                double tf = static_cast<double>(word_pair.second.title_cnt*5 + word_pair.second.content_cnt);

                // 计算 IDF (逆文档频率)
                double idf = std::log(static_cast<double>(forward_index.size()) / inverted_index[word_pair.first].size());

                // 计算权重（使用 TF-IDF）
                item.weight = static_cast<int>(tf * idf);

                InvertedList &inverted_list = inverted_index[word_pair.first];
                // inverted_list.push_back(std::move(item));
                inverted_list.emplace_back(item);
            }
            return true;
        }
    };
    Index *Index::instance = nullptr;
    std::mutex Index::mtx;
}

// bool BuildInvertedIndex(const DocInfo &doc)
// {
//     struct WordCnt
//     {
//         int title_cnt;
//         int content_cnt;

//         WordCnt() : title_cnt(0), content_cnt(0) {}
//     };

//     std::unordered_map<std::string, WordCnt> word_map; // 存储关键词及其在标题和内容中出现的次数

//     // 提取标题中的关键词并统计出现次数
//     std::vector<std::string> title_words;
//     ns_util::JiebaUtil::CutString(doc.title, &title_words);
//     for (auto &word : title_words)
//     {
//         boost::to_lower(word);                   // 将关键词转换为小写
//         word_map[std::string(word)].title_cnt++; // 将关键词在标题中的出现次数加一
//     }

//     // 提取内容中的关键词并统计出现次数
//     std::vector<std::string> content_words;
//     ns_util::JiebaUtil::CutString(doc.content, &content_words);
//     for (auto &word : content_words)
//     {
//         boost::to_lower(word);                     // 将关键词转换为小写
//         word_map[std::string(word)].content_cnt++; // 将关键词在内容中的出现次数加一
//     }

//     double total_docs = forward_index.size();        // 总文档数
//     std::unordered_map<std::string, double> idf_map; // 存储每个关键词的IDF值

//     for (auto &word_pair : word_map)
//     {
//         InvertedElem item;
//         item.doc_id = doc.doc_id;        // 设置文档ID
//         item.key_word = word_pair.first; // 设置关键词

//         double tf = static_cast<double>(word_pair.second.title_cnt + word_pair.second.content_cnt) /
//                     (title_words.size() + content_words.size()); // 计算关键词的TF值

//         auto iter = idf_map.find(word_pair.first);
//         double idf;
//         if (iter != idf_map.end())
//         {
//             idf = iter->second; // 如果已经计算过该关键词的IDF值，则直接使用
//         }
//         else
//         {
//             int doc_with_word = 0;
//             for (const auto &doc : forward_index)
//             {
//                 // 统计包含该关键词的文档数（在标题或内容中出现）
//                 if (doc.content.find(word_pair.first) != std::string::npos ||
//                     doc.title.find(word_pair.first) != std::string::npos)
//                 {
//                     doc_with_word++;
//                 }
//             }
//             idf = std::log(total_docs / (doc_with_word + 1)); // 计算关键词的IDF值
//             idf_map[word_pair.first] = idf;                   // 将计算得到的IDF值存储到idf_map中，以便下次使用
//         }

//         item.weight = static_cast<int>(tf * idf); // 计算关键词的权重

//         inverted_index[word_pair.first].push_back(std::move(item)); // 将关键词及其对应的倒排项添加到倒排索引中
//     }

//     return true;
// }